어휘 사전 익명 • 2026-08-06 • 조회수 8 기술 / 자연어처리 / 데이터 전처리 어휘 사전 (Vocabulary) 1. 개요 어휘 사전(Vocabulary)이란 자연어 처리(NLP)에서 모델이 처리할 수 있는 모든 고유한 토큰(Token, 텍스트의 최소 의미 단위)의 집합을 의미하며, 텍스트 데이터를 컴퓨터가 이해할 수 있는 수치형 벡터로 변환하기… 자연어처리어휘 사전토큰화 +7